2024/11/21

我的 AIPC 體驗

這篇不是業配文,只是單純的個人使用心得。

夏天的時候換了新筆電(Asus Zenbook S16),主要是工作上大量使用 LLM,想測試看看所謂的 AIPC 到底有沒有用,而選這台的理由有兩個:第一,這台是 AMD Strix Point 筆電處理器的首發機種之一;第二,這台是第一台採用「陶瓷鋁合金」(Ceraluminum)做為外殼材質的機種,而個人過去跟這個材質的開發有那麼一點點淵源。

這台筆電的評測網路上很多,好的普通的都有,我就不贅述了。而新設計的機種,前期在穩定性上難免有些小問題,尤其是入手第二個月的幾次 windows update 都直接讓 wifi-7 晶片失去作用,電源管理的穩定性也常常出錯(睡著叫不醒),好在現在 ASUS 出補釘的速度也很快,在火燒起來之前就先滅了。

整體來說,作為一台筆電,我很滿意。

至於 AI 的部份,兩個月之前測試,發現本地部屬語言模型常用的 ollama 跟 llama.cpp 都還沒有正式的 NPU 支援,生圖的 ComfyUI 跟 Automatic1111也是。當時覺得要用到 NPU 似乎只能自己寫 code ,似乎離一般消費者有點太遙遠了。
本來覺得只能等微軟的 copilot+ 了,結果昨天發現 AMD 跟 LM Studio 是直接合作,在七月就出了 ryzen-ai 專用版。轉念一想,那生圖的應用是不是也走這個路線?果不其然,amuse-ai 也已經出來一陣子了。
這樣我似乎有點理解 AMD 的策略了。 Intel 的 NPU 其實很早就開始做了(多年以前有推一個 USB 界面的「加速棒」就已經是這個概念了),但一直都是極小眾的利基市場,而 core-ultra 也早了 AMD 半年多推出,AMD 如果推廣一般性的 NPU 支援,難免有為他人作嫁的感覺。但如果是綁著自家函式庫的專用版軟體,那故事就完全不一樣了,畢竟 CUDA 也沒為我家 GPU 提供支援,我何必支援別家 NPU?
好吧,商業競爭嘛,落井下石也難免,再說當初擬定這樣的策略時,對方還沒有病得這麼重呢,也不好說是「趁你病要你命」。
不過截至目前似乎都沒有看到有廠商很積極的在推廣 LM-Studio-with-Ryzen-AIamuse-ai(也許是怕擋到微軟推 copilot+ 的財路?)。這些軟體都找得到測試影片,建議賣 AIPC 的商家可以直接拿來宣傳,已經買了 AMD Strix Point 筆電的使用者也可以自己安裝。

附註:這些「加速」都只是加快 inference time,要訓練模型還是乖乖用 CUDA 吧

沒有留言: